Разумеется, полностью исключить появление у искусственного интеллекта собственных чувств нельзя. Мы еще недостаточно изучили феномен сознания, чтобы однозначно ответить на этот вопрос. В целом нам следует рассмотреть три возможных варианта:

1. Сознание каким-то образом связано с органической биохимией, и в неорганических системах появление сознания невозможно.

2. Сознание не связано с органической биохимией, но связано с интеллектом, так что у компьютеров не только может, но и должно появиться сознание, как только они перешагнут определенный порог развития интеллекта.

3. Не существует никаких значимых связей между сознанием и органической биохимией, а также сознанием и высоким интеллектом. Поэтому компьютеры могут обладать сознанием – но не обязательно. Они могут иметь сверхвысокий интеллект, но прекрасно обходиться без сознания.

При нынешнем уровне знаний о человеке мы не исключаем ни один из этих вариантов. Но именно недостаток знаний делает маловероятным, что в ближайшем будущем нам удастся разработать программу для компьютера, обладающего сознанием. Поэтому, несмотря на огромную мощь искусственного интеллекта, в обозримой перспективе его использование будет в определенной степени зависеть от человеческого сознания.

Опасность состоит в том, что, если мы вложим слишком много сил и средств в развитие искусственного интеллекта и слишком мало – в развитие человеческого сознания, чрезвычайно изощренный искусственный интеллект компьютеров будет лишь усугублять естественную глупость людей. В ближайшие десятилетия мы вряд ли столкнемся с восстанием роботов, но не исключено, что нам придется иметь дело с ордами ботов, которые умеют воздействовать на наши эмоции успешнее, чем наша родная мать, и используют эту способность, чтобы пытаться нам что-то продать – автомобиль, политического деятеля или целую идеологию. Боты будут распознавать наши скрытые тревоги и тайные желания, а затем использовать их против нас. Мы уже видели, как это выглядит, во время недавних выборов и референдумов по всему миру, когда хакеры научились манипулировать отдельными избирателями, анализируя информацию о них и используя их предрассудки[74]. Научно-фантастические триллеры тяготеют к драматическому апокалипсису с огнем и дымом, но в реальной жизни мы можем столкнуться с весьма тривиальным апокалипсисом, просто кликая компьютерной мышью.

Чтобы избежать такого исхода, на каждый доллар и каждую минуту, вложенные в совершенствование искусственного интеллекта, было бы разумно тратить по одному доллару и одной минуте на развитие человеческого сознания. К сожалению, сегодня мы делаем слишком мало для исследования и развития нашего сознания. Мы, как правило, проводим научно-исследовательские и опытно-конструкторские разработки (НИОКР) в области человеческих способностей в поисках ответа на насущные требования экономической и политической системы, забывая о наших долговременных потребностях как сознательных существ. Мой начальник хочет, чтобы я оперативно отвечал на письма, но его совсем не интересует моя способность чувствовать вкус пищи и наслаждаться ею. Поэтому я проверяю электронную почту даже во время еды – и теряю способность сосредоточиваться на своих ощущениях. Экономическая система призывает расширять и диверсифицировать инвестиционный портфель, но не побуждает расширять и диверсифицировать мое сострадание. Поэтому я стараюсь проникнуть в тайны фондовой биржи, но прилагаю гораздо меньше усилий, чтоб понять глубинные причины страданий людей.

В этом отношении люди похожи на домашних животных. Мы вывели послушных коров, дающих огромное количество молока, но в остальном сильно уступающих своим диким предкам. Они не такие проворные, любопытные и изобретательные[75]. Теперь мы создаем прирученных людей, которые производят огромное количество данных и функционируют как высокопроизводительные чипы в машине обработки информации, но эти «информационные коровы» вряд ли приумножают человеческий потенциал. В сущности, мы понятия не имеем, каковы человеческие возможности, потому что очень мало знаем о своем сознании. Тем не менее мы вкладываем недостаточно ресурсов в изучение человеческого сознания, а вместо этого стремимся повысить скорость интернет-связи и эффективность алгоритмов Big Data. Такое легкомыслие может привести к тому, что деградировавшие люди будут неправильно использовать совершенные компьютеры, уничтожая самих себя и мир вокруг.

Цифровые диктатуры – не единственная опасность, которая нас подстерегает. В списке главных либеральных ценностей наряду со свободой фигурирует равенство. Либерализм всегда восхвалял политическое равенство, но постепенно пришел к выводу о важности и экономического равенства. Дело в том, что без системы социального обеспечения и минимального экономического равенства свобода бессмысленна. Алгоритмы больших данных способны не только уничтожить свободу, но и одновременно сформировать общество с небывалым уровнем неравенства. Немногочисленное меньшинство монополизирует богатство и власть, а большинство людей окажутся просто ненужными.

В последние десятилетия людям во всем мире внушали, что человечество движется к всеобщему равенству, а достичь его быстрее помогут глобализация и технологии. На самом деле XXI век может породить общества с таким неравенством, какого еще не знала история. Глобализация и интернет выравнивают положение стран, но углубляют пропасть между классами. Не исключено, что на пороге глобальной унификации сам человек как вид разделится на разные биологические касты.

Неравенство уходит корнями еще в каменный век. 30 тысяч лет назад группы охотников и собирателей одних соплеменников хоронили в роскошных могилах вместе с тысячами бусин из слоновой кости, браслетами, драгоценными камнями и предметами искусства, а других просто опускали в яму и засыпали землей. Тем не менее сообщества каменного века были более эгалитарными, чем любое из последующих: ведь у древних людей почти не было собственности. Именно собственность является условием для долговременного неравенства.

После аграрной революции собственности стало во много раз больше – а вместе с ней и неравенства. По мере того как люди получали в собственность землю, животных, растения и орудия труда, появлялись общества с жесткой иерархией, в которых немногочисленные элиты монополизировали бóльшую часть богатств и власти, передавая их из поколения в поколение. Такой порядок вещей стал считаться естественным и даже предписанным свыше. Иерархия стала не просто нормой, но и идеалом. Разве может существовать порядок без четкой иерархии с разделением на аристократов и обычных людей, на мужчин и женщин, на родителей и детей? Во всем мире священники, философы и поэты твердили: как не равны органы человеческого тела (ноги должны подчиняться голове), так и в человеческом обществе равенство не принесет ничего, кроме хаоса.